Head Attention. Принципы работы архитектуры нейронных сетей. Теория и практика

Attention анализирует и выделяет зависимости между элементами входной и выходной последовательностей. Мы изучим Transformer и Head Attention, узнаем принцип их работы и сравним с рекуррентными нейронными сетями на основе LSTM блоков.
https://qudata.com/
Attention analyzes and highlights the dependencies between the elements of the input and output sequences. We will study Transformer and Head Attention, learn how they work and compare them with recurrent neural networks based on LSTM blocks.

Практика: https://github.com/QuDataAI/Seminars/...

0:00:00 Начало видео
0:01:12 Transformer
0:06:27 Head Attention
0:17:47 LSTM vs Attention
0:20:39 Практика. Как это работает?
0:28:03 Задача "Все со всеми"
0:51:14 Задача обратить внимание на слово последовательности
1:16:05 Задача забыть слово из последовательности

Ukrainian IT-company. Machine Learning | Data Science | Artificial Intelligence

#нейронныесети #neuralnetwork #искусственныйинтеллект #нейросети #ИИ #машинноеобучение #deeplearning #machinelearning
#artificialintelligence #qudata #Attention #LSTM